Qu'est-ce que structure from motion ?

La structure from motion (SfM), également connue sous le nom de reconstruction 3D à partir d'images, est une technique utilisée en vision par ordinateur pour estimer la structure tridimensionnelle d'une scène à partir de plusieurs images prises à des points de vue différents. Elle combine des informations de mouvement de la caméra et des corrélations entre les différents points d'intérêt dans les images pour reconstruire la géométrie de la scène.

La SfM est fréquemment utilisée dans divers domaines tels que la réalité augmentée, la robotique, les effets spéciaux dans les films, la cartographie et bien d'autres. Elle a également des applications dans le domaine de la vision assistée par ordinateur pour l'automatisation de tâches telles que la détection d'objets, la reconnaissance de formes, la surveillance vidéo, etc.

Le processus de SfM commence par l'extraction de points d'intérêt (par exemple, coins, arêtes, régions distinctes) à partir des images. Ensuite, les relations entre ces points d'intérêt sont analysées pour estimer les corrélations spatiales. À l'aide de ces corrélations, les informations sur le mouvement de la caméra peuvent être déduites, ce qui permet de reconstruire la position relative des images et de les aligner.

Une fois que la structure spatiale relative des images est estimée, la SfM peut procéder à l'étape de la triangulation pour estimer la position 3D des points d'intérêt. Cette étape consiste à trouver les coordonnées 3D qui satisfont les relations de projection 2D-3D entre les points d'intérêt dans les différentes images.

Certaines des techniques utilisées dans la SfM comprennent la recherche de correspondance, l'estimation de mouvement de la caméra (par exemple, la décomposition en valeurs singulières), la triangulation, l'optimisation non linéaire et l'estimation de la pose. La calibration de la caméra est également une étape importante dans le processus de SfM, car elle permet de compenser les distorsions de l'objectif et de calibrer les paramètres intrinsèques de la caméra.

Cependant, la SfM peut parfois être un processus complexe, car elle nécessite un grand nombre d'images et peut être sensible à des facteurs tels que le bruit, l'éclairage, l'occlusion et les objets en mouvement. De plus, la SfM ne fournit généralement que la structure tridimensionnelle des points d'intérêt et ne tient pas compte des textures ou des couleurs de la scène reconstruite.

Malgré ces limitations, la SfM continue de jouer un rôle essentiel dans de nombreuses applications et fait l'objet de nombreuses recherches pour améliorer sa robustesse et sa précision.